上下文即基础设施:面向带Harness的Agent系统检索的知识编译
🧭 Agentic RAG 的知识编译与检索纪律 ★ 深度解读
InfiniFlow Inc. · East China Normal University
在Agentic检索中,把文档编译为声明-证据叶子可让命中token省91%、平均省38%,盈亏平衡充分率仅2%
📌 工作参考价值(4 点)
- 在Agentic检索/问答栈中,优先用BM25+grep+LLM harness做检索控制,不必引入向量索引;论文实测加dense leg反而降准确率,可降低系统复杂度和索引成本。
- 对电商商品描述、政策文档、广告素材库等需要精确引用的场景,可仿照claim-evidence编译:用轻量模型抽取“声明+逐字证据span+源偏移”,召回后替换整chunk进上下文;命中节省91% token,未命中仅多1.9%,平均38%,适合token敏感的大规模Agent系统。
- 增加决策gate(轻量决策模型)判断证据充分性,拒绝则丢弃整个块而不是塞入prompt;可显著降低端到端延迟(140s→30s),但token节省以检索轮次为代价,需在延迟和成本间权衡。
- 结构化的RAPTOR/PageIndex/wiki/graph等artifact在强harness下对准确率无增益甚至负收益,不应作为召回卖点;应把它们当作治理/审计/跨源集成工具,用独立ledger(如审计覆盖率、集成成功率)评估,而不是benchmark准确率。
面向企业零售异构数据工作流的Agentic RAG评估基准与框架
🧭 Agentic RAG · 多源异构零售问答评测 ★ 深度解读
KAIST · Cluvion · GS Retail
提出RetailBridge多源零售QA基准与RetailRAG框架,定位跨源链式为瓶颈
📌 工作参考价值(4 点)
- 在电商 Text-to-SQL / 数据分析 Agent 中,先构建并注入 auto-schema briefing:包括列类型与示例值、类别枚举、跨表 join 键、派生指标公式,可提升 planner 路由和 SQL 生成准确率。
- 采用 source-routed plan chaining:对复杂查询一次性生成显式依赖链,支持 SQL→文本→SQL 的中间结果传递;简单查询走快速通道,控制 API 调用成本。
- 失败恢复用 diagnostic plan revision:只定位并局部修正失败步骤,保留已完成步骤,避免整体 replan;把失败类型划分为 schema mismatch、filter 过严等,可显著降低 token 消耗并提高成功率。
- 构建内部评测集可借鉴 RetailBridge 的合成管线:用 persona 仿真生成订单/评论/客服交互数据,再用 entity-linked/answer-linked 算子递归组合出多跳查询,按推理深度、跨源数和证据模态分层,便于诊断 agent 短板。
因果引导的知识图谱检索 Agent 用于问答
🧭 Agent 因果检索 · 知识图谱 QA ★ 深度解读
University of North Carolina at Charlotte
提出 CARA,以证据对回答的因果贡献替代纯文本相似,引导 KG 检索 Agent 并融合多轨迹
📌 工作参考价值(4 点)
- 在电商商品知识图谱或导购 Agent 中,把召回/排序的相似度信号替换或补充为因果相关性评分:对候选商品/证据问“加入它是否实质性改善对用户 query 的回答/推荐,去掉它是否损失关键证据”,可有效过滤“相关但不必要”的商品,减少推荐噪音,尤其适合长尾 query 和复杂约束场景。
- 采用多 Agent 并行探索 + RRF 融合:多个 agent 用不同初始锚点和子查询独立遍历,最后用 reciprocal rank fusion 聚合,比简单的 count-based vote 更鲁棒;可迁移到多策略召回/多路搜索融合,成本可控且提升召回稳定性。
- 聚焦探索与成本控制:因果评估能减少无效 hop 和工具调用,但会引入 LLM 评估延迟;业务落地时可对候选批量评估、只对 top-k 邻居调用因果模块,或用轻量模型/规则做初筛后再评估,在效果与延迟间取平衡。
- 论文在 STaRK 的 AMAZON 电商数据集上验证有效,其 causal prompt 设计(明确“不是文本相似”,给出 0-0.2 无关、0.9-1.0 决定性等评分量表)可直接参考迁移到电商 QA、导购知识库检索等场景。
定位、判断、阅读:基于知识点索引的角色专用工具智能体用于开放域多模态文档问答
🧭 角色分工的多 Agent 文档 QA ★ 深度解读
Metask Lab
按任务拆分搜索与阅读智能体、代码强制第二跳,在三个文档 QA 基准上显著超越现有系统
📌 工作参考价值(4 点)
- 搜索与阅读工具物理隔离:在电商商品库/文档客服 Agent 中,可把「找商品/找片段」和「读详情/规格」拆成两个 agent,Reader 不挂搜索工具,避免模型无限搜而不读;论文显示单 agent 全工具且双倍轮数反而低 1.9 F1。
- 类型化证据池:多模态业务里图片/表格在文本排序中分数低容易被淘汰;建议按 text/image/table/example 分池并各自设 cap,每次搜索保护 top-K,合并所有搜索的排名,这能显著保住图表证据。
- 代码级桥接判断:不要靠模型自己发现缺少第二跳文档;在检索后加一个固定 prompt 检查是否覆盖所有 hop,缺失则定向补搜 1-2 次。在 MultiHop-RAG 上这是最大单项提升来源,「all evidence found」从 50.6% 升到 65.1%。
- 轮次预算观察:4+4 后基本平台,延迟主要随模型调用数而非语料规模增长;工程上可设 Locator/Reader 为 cap 上界,让模型提前停,保证首 token 快。对需要多跳属性补全的推荐解释/导购 Agent 有直接可复制性。
RIT-RAG:检索诱导树在文档语料中导航
🧭 Agentic RAG 树结构导航
IBM · IIT Kharagpur
用检索块位置诱导多文档子树,让 LLM Agent 在结构上导航并选择性阅读,提升复杂文档问答准确率
📌 工作参考价值(4 点)
- 借鉴“检索提出位置、Agent 决定阅读”的分离设计:把检索结果映射到商品文档、帮助中心或政策文档的目录树片段,让 Agent 在局部子树上推理而非直接读 chunk,能更好利用结构信息并控制上下文长度。
- 离线为每个文档/类目构建树索引(TOC、sitemap、商品属性层级),在线用宽召回 chunk 诱导多个候选子树,避免“先选文档后无法纠错”,适合多来源、超长文档库。
- 在客服/售后场景中,Agent 选择性读取节点并改写查询,可以降低 LLM token 消耗,同时提高回答准确率和可溯源能力;可以在现有 RAG pipeline 上增加结构索引层。
- EntQABench 是 284 万级技术文档 QA 基准,可用于评估大规模文档库的检索和 Agent 导航能力,但电商领域还需自建结构评估集。
Agentic RAG 评估预算:问题数、轨迹数与读取次数的分配
🧭 Agentic RAG 评估预算采样优化
Carnegie Mellon University
同 token 预算下,扩展问题覆盖比增加读取或轨迹数更有效降低评估标准误
📌 工作参考价值(4 点)
- 评估 agentic RAG / LLM 排序系统时,预算层级可分解为 query/问题数、轨迹/rollout 数、每次 rollout 的读取/答案重复数;在总 token 预算固定时优先扩 query 覆盖(多问题)而不是多 trajectory 或多 read,尤其在搜索请求费用低(< $1/1k requests)时,可显著降低标准误。
- 用嵌套(nested)或仅问题(Q-only)的 archived forecast 做审计,预测不同预算分配的 SE,误差可在 4% 内;可以在正式大规模评估前用小 audit 校准预算,避免盲目采样。
- 温度设为 0 可将答案不一致从 ~14% 降到 ~3.4%,同时比较精度变化不大;对于策略对比评估、离线评测,应默认 temperature=0 减少重复读数需求。
- 如果系统涉及 search API 费用,要把每千次搜索价格纳入预算分配:搜索费用在 $0–1/1k 时更多问题优先于更多轨迹;但 question vs read 的费用排序在当前数据下不确定,需按自身模型/搜索价格重估。
单语检索增强生成中推理语言对齐的作用研究
🧭 单语RAG推理语言对齐
Johannes Gutenberg University Mainz · University of Colorado Boulder
在德语RAG问答中,对齐推理语言与查询文档语言可提升表现,但无法超越无约束英语推理
📌 工作参考价值(4 点)
- 构建多语言RAG评测集时,可采用小众虚构领域(如特定游戏世界)迫使模型依赖检索而非内部知识,避免记忆污染,验证检索能力。
- 多语言业务(如跨境电商、多语种搜索)中,若需要LLM进行推理回答问题,不强制其推理语言与用户语言一致可能获得最佳性能;但若追求可解释性而强制推理语言,对齐查询/文档语言(如德语对齐德语)优于不对齐的强制语言(如法语),且性能接近无约束英语推理上限。
- 在agentic RAG循环中,使检索上下文更丰富和结构化(如保留文档结构信息)会增强推理语言对齐带来的收益,提示工程中可优先采用结构化文档表示。
- 可复用结论:模型的语言熟练度并非决定RAG性能的唯一因素,语言对齐本身有独立贡献,因此在实际系统中应根据业务需求在可解释性与性能之间权衡,不必盲目强制英语推理。
预测智能体RAG中部分答案质量与效用
🧭 Agentic RAG 轨迹质量预测与早停
University of Glasgow
提出轨迹内探针框架,预测Agentic RAG中间答案质量与增量效用,实现约11%早停节省且保持98%质量
📌 工作参考价值(4 点)
- 在电商/购物助手的多跳 Agentic RAG 场景中,可在每次检索-推理后强制生成一个 partial answer,用轻量回归/分类器实时预测其质量或增量效用,作为动态早停信号,而非固定最大步数;论文显示可省约 11% 迭代次数且仅损失约 2% 最终质量。
- 可借鉴的三类轨迹特征:intra-iteration(当前检索结果与 query 的相关性、query 特异性)、inter-iteration(partial answer embedding 漂移/趋于稳定)、query-iteration(query 改写相似度),组合成在线 guardrail,适合低延迟、高吞吐的推荐/问答服务。
- 质量预测比效用预测更可靠(Pearson r > 0.43 vs. 效用更低),工程落地时建议以质量阈值/置信度为主要停止判据,效用 delta 可作辅助信号或用于异常检测,避免因效用预测噪声导致过早切断有效推理。
- 商品搜索/导购场景中,用户问题常需多轮查询细化,可把该框架扩展到“是否已获得足够商品信息”的判定,减少无效检索与 LLM 调用,同时保持答案完整度。
Q2D-Web:面向 Agentic RAG 的大规模检索基准
🧭 Agentic RAG 首阶段检索评估 ★ 深度解读
Perplexity AI
构建 190M 文档 / 70k agent 改写查询的私有检索基准,发现全量评估排序可用 30% 子语料复现
📌 工作参考价值(5 点)
- 评估检索器必须用改写后的 query:生产 Agentic RAG 里 first-stage retriever 接收的是 LLM 改写/分解后的 query,不是用户原始 query。电商/搜索团队如果自建 RAG 或 Agent 搜索,应收集线上改写 query 构建离线评估集,否则会低估或误判检索效果。
- 多信号 qrels 降低 false negatives:单一点击或引用标签召回很低,会误伤检索器。可借鉴其做法:组合『曝光点击/成交/加购』『人工标注』『LLM judge 对未标注候选再判』成多套 qrels,分别评测并观察排序是否稳定;电商搜索尤其适合用点击、加购、成交、客服负反馈等构造多源 label。
- RRF 子语料采样加速评估:保留所有 positive 文档,用 RRF 融合多个 retriever 的 top-k 结果抽取约 30% 文档,就能保持全量排序,评估成本下降约 2/3。业务中大规模召回模型快速迭代时可以直接复用这个 trick。
- BM25 与 dense 互补明显:BM25 总 Recall 最低,但 unique positive coverage 最高,说明 lexical 和 dense 覆盖不同相关文档。电商搜索里 BM25 对品牌型号、精确实体仍是重要召回通路,建议保留 BM25 路并与 dense 结果做 RRF 融合。
- 分 query 类型/领域/语言看召回:论文显示 neural retrievers 在 agent 生成的 support queries 上明显弱于 primary queries,BM25 相反;不同品类/语言差异也大。上线前应按改写 query 类型、类目、语言分片评估,不能只看一个平均 Recall。
GRASP:面向 Agentic RAG 的粒度感知搜索策略
🧭 Agent 搜索策略与工具协调优化
University of Massachusetts Amherst · Adobe Research
用强化学习训练 Agent 自适应选择语义搜索、关键词搜索与段落阅读,提升多跳推理的检索与问答性能
📌 工作参考价值(4 点)
- 电商搜索的多跳推理(如“适合油皮的平价防晒霜”)可借鉴 GRASP 的动作空间设计:语义搜索用于初步召回,关键词搜索锁定特定属性,段落阅读验证细节,避免一次性返回大量无关商品描述。
- 奖励函数联合考虑答案正确性、引用依据、工具互补性和步数效率,可直接迁移到 Agent 型产品搜索的在线 RL 训练,缓解探索-利用困境。
- 检索粒度控制在 RAG 场景下对延迟和成本敏感的业务(如实时客服)极有价值:学习何时取整段、何时仅取关键句,可大幅缩减输入 token,加速推理。
- 训练的 Agent 表现出可解释的“略读与精读”模式,可辅助构建可审计的推荐理由生成,增强用户信任。
GraphRAG 是否必要?RAG 方案对比与上下文优化
🧭 RAG 方案对比与上下文优化
Generative AI Innovation Center, Amazon Web Services (AWS) · Cisco Systems, Inc.
系统对比 9 种 RAG 场景并提出上下文工程方法,token 用量降低 19%-53%,揭示检索-生成差距
📌 工作参考价值(4 点)
- 上下文工程技巧:提出的混合文本-图检索与 Agent 循环设计可复用,尤其适合电商知识库问答中的长上下文管理,避免 KV cache 膨胀,直接用于客服或导购 Agent 的 memory 控制。
- 检索-生成差距洞察:业务上不要盲目叠加复杂检索(如图谱扩展),应先评估生成端真实增益;在推荐理由生成、商品属性问答等场景中,用生成质量(而非召回率)作为最终优化指标。
- GraphRAG 适用边界:半结构化知识(如商品图谱、品牌关系)用 GraphRAG 能提升一致性,但需注意短期用户交互场景可能用轻量 Modular RAG 更经济。建议按查询复杂度分流:简单事实查询走基础 RAG,多跳推理走 Agentic-GraphRAG。
- Agent 与图谱集成模式:在电商智能导购中,可将商品数据构建为预定义 KG,通过 Agent 多轮规划调用图谱查询与文本检索,实现精准商品推荐与属性解释,文中 Agent-Graph 集成方案可直接参考。
代理RAG中的级联幻觉检测与缓解:CHARM框架
🧭 代理RAG · 级联幻觉检测与缓解 ★ 深度解读
University of North Dakota
提出CHARM框架,通过跨阶段事实验证、一致性跟踪和置信度监控,实现89.4%的级联幻觉检测率和82.1%的错误传播减少。
📌 工作参考价值(4 点)
- 多步推理流水线的被动检测层:电商推荐Agent常涉及查询解析→召回→排序→生成解释等多步推理,可借鉴CHARM在不替换原有架构的前提下,引入跨阶段事实验证(SFV)和语义漂移跟踪(CSCT),捕获中间步骤的事实错误与逻辑偏移,避免错误积累导致最终推荐结果看似合理实则错误。
- 高价值场景的双模验证:对于大促选品、合规文案等高风险决策,可采用平行验证代理(PVA)进行独立复核,以2倍计算成本换取95.2%的缓解成功率,适合金融、医疗等强监管领域。
- 置信度传播监控:在生成式推荐或对话流中,可借鉴置信度监视器(CPM)的思想,用贝叶斯跟踪模型自信度的变化,防止低置信度的中间结论被后续步骤当作高置信信号使用,尤其在解释生成环节防止自欺欺人的“自信幻觉”。
- 可配置阈值与业务风险对齐:CHARM各组件阈值可按业务域校准,例如搜索Query改写阶段可适度降低NLI阈值以提升召回,而合规内容生成则可收紧阈值,并启用流水线回滚(PRR)确保最终输出基于正确上下文。
TechGraphRAG:面向技术文献推理的智能体图增强RAG框架
🧭 Agentic RAG · 多源检索与证据充分性评估 ★ 深度解读
The Goodyear Tire & Rubber Company
提出13步证据门控的智能体RAG流水线,自主评估证据充分性并动态调用外部学术搜索与知识图谱,实现领域文献的可靠推理
📌 工作参考价值(4 点)
- 证据充分性自动评估与门控机制:可迁移至电商客服知识库问答中,当本地检索文档相关性不够时,自动触发外部商品手册或政策数据库搜索,避免在低质量上下文上强行生成答案。
- 混合检索与交叉编码器重排序的组合:在商品推荐或智能搜索场景中,将语义向量检索与关键词匹配按RRF融合后,再经交叉编码器精排,可显著提升长尾查询下的相关性,适合直接引入生成式推荐的候选池。
- 知识图谱结构化关系用于增强回答可解释性:在Agent多智体协作中,构建产品、参数、使用场景等实体图谱,利用图遍历提供关系上下文,使推荐理由可溯源到权威文档或已购用户评价,增强决策可信度。
- 自纠正生成循环与引用验证:可借鉴其“生成后质量检查并自动重生成一次”的思路,在多轮对话推荐中,由小模型检验推荐理由是否基于事实、是否遗漏关键表格数据,提升端到端回答的准确性。
DynaTree:面向时效新闻检索的动态智能体检索树
🧭 多 Agent 协作检索树 · 动态子树选择 ★ 深度解读
Shanghai Jiao Tong University · Orion Arm AI
解耦语义扩展与在线检索,用多 Agent 构建可复用检索树,再通过轻量子树选择适应新闻时效性,召回与部署效果显著提升。
📌 工作参考价值(4 点)
- 离线持久化语义结构:将用户意图的语义扩展固化为树结构,避免每次查询重复推理。在电商推荐中,可将长期稳定的品类(如“户外运动装备”)构建成 Topic 树,召回时直接复用,大幅降低 LLM 调用成本。
- 多 Agent 角色分工实现可控探索:Planning、Retrieval、Augmented、Reflection 各司其职,路径感知规划、自适应路由、证据标准化与结构自我修正的组合,可迁移到商品知识图谱构建、复杂查询的迭代改写等场景,尤其适合需要平衡覆盖率和漂移的召回链路。
- 轻量子树选择应对分布漂移:日常通过评估代理(小型采样集 + LLM 弱标注)快速选优子树,无需重跑昂贵 Agent,类似推荐系统中固定候选池但动态调整召回通道权重,适合促销、季节变化等时变场景下的低成本自适应。
- 评估代理与弱监督:只需 200 个文档的 LLM 标注即可稳定挑选子树,可借鉴到标注缺失的推荐场景,例如基于少量曝光日志构建代理集,指导召回策略的日常微调。
重思Agentic RAG:从复杂后端到LLM驱动的逻辑检索
🧭 Agent RAG的检索接口与控制权设计 ★ 深度解读
Fudan University · Shanghai Kingstar Software Technology Co., Ltd.
提出LLM用布尔逻辑直接操控倒排索引,匹配混合检索性能同时大幅降低构建与推理成本
📌 工作参考价值(4 点)
- 电商搜索/Agent RAG可借鉴“LLM生成结构化查询+倒排索引”的组合,用AND/OR/NOT精确控制召回,避免稠密检索的语义漂移与冗余结果,尤其在多轮澄清场景下能显著降低无效重试。
- 当知识库规模大、更新频繁时,跳过离线Embedding与FAISS索引,用OpenSearch等倒排引擎直接响应LLM的布尔表达式,可节省41倍构建时间与约3倍在线延迟,适合高频变动商品库。
- 答案不可用时的幻觉降低(0.128→0.083)源于显式约束失败可被LLM解读为“证据缺失”,这一信号可借鉴到Agent的拒绝回答策略中,提高推荐或问答系统的可靠性。
- “重脑轻手”架构将复杂推理留给LLM,检索端仅做确定性执行,该边界划分可简化整个系统迭代——检索索引成为无状态工具,更易维护和扩展。
为什么邻域重要:Agentic GraphRAG 中的遍历上下文与溯源
🧭 RAG ★ 深度解读
University of Southern Denmark
发现 Agentic GraphRAG 中最终引用实体虽必要却不充分,答案还依赖未引用的遍历上下文与图结构